Ông tên thật là Vũ Văn Giảng (武文講) hay Vũ Văn Giản (武文簡), sinh năm Mậu Tuất (1898), quê ở làng Thổ Tang, phủ Vĩnh Tường, tỉnh Vĩnh Yên (về sau giai đoạn 1946-1954 gọi là xã Thổ Tang thuộc quận Vĩnh Tường, tỉnh Vĩnh Phúc Yên; ngày nay là thị trấn Thổ Tang thuộc huyện Vĩnh Tường, tỉnh Vĩnh Phúc).

Xuất thân là một thầy giáo làng, đầu thập niên 1920, ông sớm được Nguyễn Khắc Nhu vận động đi vào con đường cách mạng và trở thành một thành viên tích cực của phong trào Việt Nam Dân quốc (越南民國). Đầu năm 1928, Việt Nam Dân quốc sáp nhập với Việt Nam Quốc dân Đảng. Ông trở thành một trong những yếu nhân của Đảng.